1. 利用马氏性 (无后效性), 有

2. 当 $n = 1$ 时, $f_{ij}^{(1)} = p_{ij}$. 当 $n > 1$ 时,

3.1 证明 $\RA$.

当 $i \to j$ 时, $\exist n > 0: p_{ij}^{(n)} > 0$, 记 $n' = \min\Bqty{n : p_{ij}^{(n)} > 0}$, 则

3.2 证明 $\LA$.

当 $f_{ij} > 0$ 时, $\exist n': f_{ij}^{(n')} > 0$, 从而 $p_{ij}^{(n')} > 0$, 即 $i \to j$.

证毕.